Vợ ông là bà Văn Thị Kim Oanh, giáo viên dạy môn Sinh học tại trường cấp 3 Lý Thường Kiệt (nay là trường PTTH Việt-Đức), Hà Nội.

Con trai lớn là Lê Hải Khôi, Phó Giáo sư Tiến sĩ Toán học, nguyên Viện trưởng Viện Công nghệ thông tin thuộc Viện Hàn lâm Khoa học và Công nghệ Việt Nam.

Con trai thứ hai là Lê Hải Thanh, nguyên Quản đốc phân xưởng tại Công ty Điện tử Hanel.

Con trai út là Lê Hải An, Phó Giáo sư Tiến sĩ, cố Thứ trưởng Bộ Giáo dục và Đào tạo.